背景问题1.近期在开发flink-sql期间，发现数据在启动后，任务总是进行重试，运行一段时间后，containerheartbeattimeout，内存溢出(GCoverheadlimitexceede)，作业无法进行正常工作023-10-0714:53:30,408|INFO|[flink-akka.actor.default-dispatcher-29]|Stoppingworkercontainer_e03_1678102291469_2749_01_000002(node-group-1jPmk0002.mrs-qrmc.com:8041).|org.apache.flink.run

环境要求操作系统：CentOS7.x64位Kubernetes版本：v1.16.2Docker版本：19.03.13-ceFlink版本：1.14.3使用中国YUM及镜像源 1.安装Kubernetes：1.1创建文件：/etc/yum.repos.d/kubernetes.repo，内容如下：[kubernetes]name=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https:

目录1、检查点​编辑1.1 检查点的保存1.1.1 周期性的触发保存1.1.2保存的时间点1.1.3时间点的保存与恢复1.1.3.1保存​编辑1.1.3.2恢复的具体步骤：1.2检查点算法1.2.1 检查点分界线（Barrier）1.2.2分布式快照算法（Barrier对齐的精准一次）1.2.3分布式快照算法（Barrier对齐的至少一次）1.2.4 分布式快照算法（非Barrier对齐的精准一次）1.3检查点配置1.3.1启用检查点  1.3.2检查点存储1.3.3其它高级配置1.3.3.1常用高级配置1.3.4通用增量checkpoint (changelog)1.3.5最终检查点1.5保

注：本文源码为flink1.18.0版本。其他相关文章：Flinkwindow源码分析1：窗口整体执行流程Flinkwindow源码分析2：Window的主要组件Flinkwindow源码分析3：WindowOperatorFlinkwindow源码分析4：WindowState1window的重要组件Window本质上就是借助状态后端缓存着一定时间段内的数据，然后在达到某些条件时触发对这些缓存数据的聚合计算，输出外部系统。其主要组件有：WindowAssigners、Triggers、Evictors。这三个组件的详细讲解请看笔记：Flinkwindow源码分析2：Window的主要组件。W

文章目录一.sql执行流程源码分析1.Sql语句解析成语法树阶段（SQL->SqlNode）2.SqlNode验证（SqlNode–>Operation）3.语义分析（Operation->RelNode）4.优化阶段（RelNode->optimize->Transformation）5.生成ExecutionPlan并执行二.源码分析小结`sqlnode->relnode->优化->pipeline(StreamGraph)->执行并返回结果`本文大致分析了flinksql执行过程中的各个阶段的源码逻辑，这样可以在flinksql执行过程中，能够定位到任务执行的某个阶段的代码大概分布在哪里

阅读此文默认读者对docker、docker-compose有一定了解。环境docker-compose运行了一个jobmanager、一个taskmanager和一个sql-client。如下：version:"2.2"services:jobmanager:image:flink:1.18.0-scala_2.12container_name:jobmanagerports:-"7081:8081"command:jobmanagervolumes:-./jobmanager:/opt/flinkenvironment:-|FLINK_PROPERTIES=jobmanager.rpc.a

Flink系列之：TableAPIConnectors之RawFormat一、RawFormat二、示例三、Format参数四、数据类型映射一、RawFormatRawformat允许读写原始（基于字节）值作为单个列。注意:这种格式将null值编码成byte[]类型的null。这样在upsert-kafka中使用时可能会有限制，因为upsert-kafka将null值视为墓碑消息（在键上删除）。因此，如果该字段可能具有null值，我们建议避免使用upsert-kafka连接器和rawformat作为value.format。Rawformat连接器是内置的。二、示例例如，你可能在Kafka中具

👏作者简介：大家好，我是爱敲代码的小黄，阿里巴巴淘天Java开发工程师，CSDN博客专家📕系列专栏：Spring源码、Netty源码、Kafka源码、JUC源码、dubbo源码系列🔥如果感觉博主的文章还不错的话，请👍三连支持👍一下博主哦🍂博主正在努力完成2023计划中：以梦为马，扬帆起航，2023追梦人📝联系方式：hls1793929520，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬👀文章目录Flink-算子一、Map二、FlatMap三、Filter四、Union（真合并）五、Connect（假合并）六、CoMap,CoFlatMap七、Split&select（已废弃）八、sid

Flink系列文章一、Flink专栏Flink专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。3、FlikTableAPI和SQL基础系列本部分介绍FlinkTableApi和SQL的基本用法，比如TableAPI和SQL创建库、表用法、查询、窗口函数、catalog等等内容。4、FlikTableAPI和SQL提高与应用系列本部分是tableapi和sql的应用部分，和实际的生产应

目录✅Flink介绍、特点、应用场景✅Flink与SparkStreaming的区别✅Flink有哪些部署模式✅Flink架构✅怎么设置并行度？✅什么是算子链？✅什么是任务槽（TaskSlots）？✅任务槽和并行度的关系✅Flink作业提交流程 简单介绍一下FlinkFlink相比传统的SparkStreaming区别?Flink的组件栈有哪些？Flink的运行必须依赖Hadoop组件吗？Flink的基础编程模型了解吗？Flink集群有哪些角色？各自有什么作用？说说Flink资源管理中TaskSlot的概念说说Flink的常用算子？说说你知道的Flink分区策略？Flink的并行度了解吗？Fl